On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
On-Policy 与 Off-Policy 学习：蒸馏动力学的系统研究
🧭 蒸馏训练策略对比 ★ 深度解读
University of Cambridge
在强到弱蒸馏中解耦 rollout 策略、KL 方向和 learning rate，发现 on-policy 无一致优势，forward KL 更鲁棒，learning rate 主导遗忘与稀疏性
📌 工作参考价值（4 点）
- 在构建领域 LLM 蒸馏流水线（如将大模型蒸馏到线上小模型用于 query 理解或文案生成）时，优先使用 forward KL + off-policy 数据：成本低且对 rollout 策略鲁棒，不必频繁生成 on-policy 样本。
- 控制 learning rate 是平衡效果与灾难性遗忘的关键旋钮；如果微调后通用能力下降，先调低 learning rate，而不是转向 on-policy 采样。
- 如果需要提升模型对更难任务（如从简单商品描述生成到复杂营销文案）的泛化，可适量引入 on-policy 数据，但注意后续若接 RLVR，该优势可能消失。
- 若要抑制教师模型的风格/偏见迁移（如避免推荐文案出现不符合品牌调性的表达），可考虑 on-policy rollouts + reverse KL 组合。